import os
os.environ["OMP_NUM_THREADS"] = "1"
os.environ["MKL_NUM_THREADS"] = "1"

import pandas as pd
from sqlalchemy import create_engine, text
from dotenv import load_dotenv

import matplotlib.pyplot as plt
import matplotlib.ticker as mtick
from sklearn.cluster import KMeans
import plotly.express as px
import plotly.io as pio
import numpy as np
import seaborn as sns
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler 
from scipy.stats import zscore
import plotly.graph_objects as go 
from plotly.subplots import make_subplots

load_dotenv('wb.env')

# создаю подключение к базе данных
try:
    connection_string = (
        f"postgresql+psycopg2://{os.getenv('DB_USER')}:{os.getenv('DB_PASS')}"
        f"@{os.getenv('DB_HOST')}:{os.getenv('DB_PORT')}/{os.getenv('DB_NAME')}"
    )
    engine = create_engine(connection_string, connect_args={'sslmode': 'require'}) # аргументы для Supabase

    with engine.connect() as conn:
        conn.execute(text("SELECT 1"))
    print("Подключение удачно")
except Exception as e:
    print(f"Ошибка подключения к Supabase: {e}")

Подключение удачно

# загружаю из пердставления в базе данных таблицу агрегированных регионов, показателей и значений в датафрейм
query_2 = text("SELECT * FROM aggregate_countries")
df_agg_countries = pd.read_sql(query_2, engine)

df_agg_countries.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 22283 entries, 0 to 22282
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype  
---  ------     --------------  -----  
 0   country    22283 non-null  object 
 1   indicator  22283 non-null  object 
 2   year       22283 non-null  int64  
 3   value      22283 non-null  float64
dtypes: float64(1), int64(1), object(2)
memory usage: 696.5+ KB

# список индикаторов, которые не войдут в анализ корреляции
extra_indicators = ['GDP (current US$)', 'Scientific and technical journal articles', 'Population, total']

# разбиваю данные на два датафрейма - по географии и по доходу
geographic_regions = [
    'East Asia & Pacific',
    'Europe & Central Asia', 
    'Latin America & Caribbean',
    'Middle East, North Africa, Afghanistan & Pakistan',
    'North America',
    'South Asia',
    'Sub-Saharan Africa',
    'Arab World'
]

income_categories = [
    'High income',
    'Upper middle income',
    'Middle income',
    'Lower middle income', 
    'Low income'
]
# фильтрую по географии
df_geographic_regions = df_agg_countries[df_agg_countries['country'].isin(geographic_regions)]
# убираю не нужные индикаторы
df_geographic_regions = df_geographic_regions[~df_geographic_regions['indicator'].isin(extra_indicators)]
print('Случайные 5 строк из таблицы df_geographic_regions:')
display(df_geographic_regions.sample(5))
# фильтрую по уровню богатсва
df_income_categories = df_agg_countries[df_agg_countries['country'].isin(income_categories)]
# убираю не нужные индикаторы
df_income_categories = df_income_categories[~df_income_categories['indicator'].isin(extra_indicators)]
print('Случайные 5 строк из таблицы df_income_categories:')
display(df_income_categories.sample(5))

Случайные 5 строк из таблицы df_geographic_regions:

Случайные 5 строк из таблицы df_income_categories:

# загружаю из пердставления в базе данных таблицу стран, показателей и значений в датафрейм
query = text("SELECT * FROM all_countries")
df = pd.read_sql(query, engine)

# убираю не нужные индикаторы
df_all_country = df[~df['indicator'].isin(extra_indicators)]
df_all_country.sample(5)
display(df_all_country.head())
df_all_country.info()

<class 'pandas.core.frame.DataFrame'>
Index: 69634 entries, 11549 to 100576
Data columns (total 6 columns):
 #   Column             Non-Null Count  Dtype  
---  ------             --------------  -----  
 0   country            69634 non-null  object 
 1   indicator          69634 non-null  object 
 2   year               69634 non-null  int64  
 3   value              69634 non-null  float64
 4   country_id         69634 non-null  object 
 5   income_level_name  69634 non-null  object 
dtypes: float64(1), int64(1), object(4)
memory usage: 3.7+ MB

# посчитаем статистики ВВП на душу населения для всех стран и для категорий по уровню дохода
all_countries_stats = df_all_country[df_all_country['indicator'] == 'GDP per capita (current US$)'].groupby('country')['value'].agg([
    'mean', 'median', 'std', 'min', 'max'
]).reset_index()
incom_countries_stats = df_income_categories[df_income_categories['indicator'] == 'GDP per capita (current US$)'].groupby('country',
                                                                                    as_index=False)['value'].agg([
    'mean', 'median', 'std', 'min', 'max'
    ])

print('Статистика ВВП на душу населения некоторых страх:')
display(all_countries_stats.sample(5))
print('\nСтатистика ВВП на душу населения стран по категории Уровень дохода:')
display(incom_countries_stats.sort_values('mean', ascending=False))

Статистика ВВП на душу населения некоторых страх:

Статистика ВВП на душу населения стран по категории Уровень дохода:

# посчитаем статистики по доступу к электроэнергии на душу населения для всех стран и для категорий по уровню дохода
all_countries_stats_energy = df_all_country[df_all_country['indicator'] == 'Access to electricity (% of population)'].groupby('country')['value'].agg([
    'mean', 'median', 'std', 'min', 'max'
]).reset_index()
incom_countries_stats_energy = df_income_categories[df_income_categories['indicator'] == 'Access to electricity (% of population)'].groupby('country',
                                                                                    as_index=False)['value'].agg([
    'mean', 'median', 'std', 'min', 'max'
    ])
print('Статистика по доступу к электричества на душу населения некоторых страх:')
display(all_countries_stats_energy.sample(5))
print('\nСтатистика по доступу к электричества на душу населения по категории Уровень дохода:')
display(incom_countries_stats_energy.sort_values('mean', ascending=False))

Статистика по доступу к электричества на душу населения некоторых страх:

Статистика по доступу к электричества на душу населения по категории Уровень дохода:

selected_ind = ['GDP per capita (current US$)', 'Access to electricity (% of population)']
# фильтрую данные по выбранным показателям
df_filtered = df_geographic_regions[df_geographic_regions['indicator'].isin(selected_ind)]
# смотрим, какой максимальный год есть у показателей и регионов
display(df_filtered.groupby(['country','indicator'])['year'].max())

country                                            indicator                              
Arab World                                         Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
East Asia & Pacific                                Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
Europe & Central Asia                              Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
Latin America & Caribbean                          Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
Middle East, North Africa, Afghanistan & Pakistan  Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
North America                                      Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
South Asia                                         Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
Sub-Saharan Africa                                 Access to electricity (% of population)    2023
                                                   GDP per capita (current US$)               2024
Name: year, dtype: int64

# делаю сводную таблицу по среднему значению трех индикаторов и выбранным ранее регионам за 2023г.
geo_regions_pt = df_filtered.pivot_table(
    index=['country', 'year'],
    columns='indicator',
    values='value'
)
# беру данные за 2023 год
result_2023 = geo_regions_pt.xs(2023, level='year')
result_2023

# Индикаторы для анализа
indicators = [
    'GDP per capita (current US$)',
    'Access to electricity (% of population)',
    'Government expenditure on education, total (% of GDP)'
]

# Годы для анализа
years = [1990, 2005, 2023]

# Создаем сетку графиков: 3 строки (по индикатору) × 3 столбца (по году)
fig, axes = plt.subplots(3, 3, figsize=(15, 12), sharey='row')
fig.suptitle('Распределение ключевых показателей по годам', fontsize=16, y=1.02)

# Цикл по индикаторам (строкам)
for i, indicator in enumerate(indicators):
    # Цикл по годам (столбцам)
    for j, year in enumerate(years):
        ax = axes[i, j]  # текущая ось
        
        # Фильтруем данные для конкретного индикатора и года
        data = df_all_country[
            (df_all_country['indicator'] == indicator) & 
            (df_all_country['year'] == year)
        ]['value'].dropna()
        
        if len(data) > 0:
            # Строим гистограмму
            ax.hist(data, bins=20, edgecolor='black', alpha=0.7, color=f'C{j}')
            
        else:
            ax.text(0.5, 0.5, 'Нет данных', transform=ax.transAxes,
                   ha='center', va='center', fontsize=12)
        
        # Настройка заголовков и подписей осей
        if i == 0:  # только для верхнего ряда
            ax.set_title(f'{year}', fontsize=12, pad=10)
        
        if j == 0:  # только для левого столбца
            ax.set_ylabel('Количество стран', fontsize=10)
               
        if indicator == 'GDP per capita (current US$)':
            ax.set_xlabel('ВВП на душу, $', fontsize=10)
        elif indicator == 'Access to electricity (% of population)':
            ax.set_xlabel('Доступ к электричеству, %', fontsize=10)
        else:
            ax.set_xlabel('Расходы на образование, % ВВП', fontsize=10)

# Настраиваем отступы между графиками
plt.tight_layout()

plt.show()

# Индикаторы и годы
indicators = [
    'GDP per capita (current US$)',
    'Access to electricity (% of population)',
    'Government expenditure on education, total (% of GDP)'
]

years = [1990, 2005, 2023]

# Создаем сетку графиков
fig, axes = plt.subplots(1, 3, figsize=(18, 6))

# Русские названия и единицы измерения
plot_config = {
    'GDP per capita (current US$)': {
        'title': 'ВВП на душу населения',
        'ylabel': 'Доллары США',
        'scale': 'log',  # логарифмическая шкала
        'is_percent': False
    },
    'Access to electricity (% of population)': {
        'title': 'Доступ к электричеству',
        'ylabel': 'Доля населения',  # или "Процент населения", если умножим на 100
        'scale': 'linear',
        'is_percent': True,
        'ylim': (-0.05, 1.05)  # доли от 0 до 1
    },
    'Government expenditure on education, total (% of GDP)': {
        'title': 'Расходы на образование',
        'ylabel': 'Доля ВВП',
        'scale': 'linear',
        'is_percent': True,
        'ylim': (-0.01, 0.21)  # доли от 0 до 0.2 (20%)
    }
}

# Цикл по индикаторам
for i, indicator in enumerate(indicators):
    ax = axes[i]
    config = plot_config[indicator]
    
    # Собираем данные для трех лет
    box_data = []
    year_counts = []
    
    for year in years:
        data = df[
            (df['indicator'] == indicator) & 
            (df['year'] == year)
        ]['value'].dropna().values
        
        if len(data) > 0:
            box_data.append(data)
            year_counts.append(len(data))
        else:
            box_data.append([])
            year_counts.append(0)
    
    # Создаем boxplot
    boxplots = ax.boxplot(box_data, patch_artist=True, tick_labels=years, 
                          widths=0.6, showfliers=True, 
                          medianprops={'color': 'red', 'linewidth': 2})
    
    # Раскрашиваем ящики
    colors = ['lightblue', 'lightgreen', 'salmon']
    for patch, color in zip(boxplots['boxes'], colors):
        patch.set_facecolor(color)
        patch.set_alpha(0.7)
    
    # Настраиваем выбросы
    for flier in boxplots['fliers']:
        flier.set(marker='o', markersize=4, alpha=0.3, 
                 markerfacecolor='gray', markeredgecolor='gray')
    
    # Заголовок и подписи
    ax.set_title(config['title'], fontsize=14, fontweight='bold', pad=15)
    ax.set_ylabel(config['ylabel'], fontsize=11)
    
    # Настройка шкалы
    if config['scale'] == 'log':
        ax.set_yscale('log')
    else:
        ax.set_yscale('linear')
        if 'ylim' in config:
            ax.set_ylim(config['ylim'])
    
    # Сетка
    ax.grid(True, axis='y', alpha=0.2, linestyle='--')
    
    # Форматированные подписи под графиками
    tick_labels = []
    for idx, year in enumerate(years):
        if year_counts[idx] > 0:
            tick_labels.append(f'{year}\n(n={year_counts[idx]})')
        else:
            tick_labels.append(f'{year}\n(нет данных)')
    
    ax.set_xticklabels(tick_labels, fontsize=11)
    
    # Форматирование значений для вывода в консоль
    print(f"\n{config['title']}:")
    for idx, year in enumerate(years):
        if year_counts[idx] > 0:
            data = box_data[idx]
            if config['is_percent']:
                # Выводим в процентах для читаемости, хотя данные в долях
                print(f"  {year}: медиана = {np.median(data)*100:.1f}%, "
                      f"n = {year_counts[idx]}, "
                      f"min = {np.min(data)*100:.1f}%, max = {np.max(data)*100:.1f}%")
            else:
                print(f"  {year}: медиана = {np.median(data):.1f}$, "
                      f"n = {year_counts[idx]}, "
                      f"min = {np.min(data):.1f}$, max = {np.max(data):.1f}$")

plt.tight_layout()
plt.show()

ВВП на душу населения:
  1990: медиана = 1629.7$, n = 192, min = 53.1$, max = 81734.9$
  2005: медиана = 3577.4$, n = 209, min = 147.2$, max = 130539.0$
  2023: медиана = 7892.1$, n = 200, min = 192.1$, max = 256581.0$

Доступ к электричеству:
  1990: медиана = 100.0%, n = 98, min = 13.9%, max = 100.0%
  2005: медиана = 97.0%, n = 212, min = 3.2%, max = 100.0%
  2023: медиана = 100.0%, n = 215, min = 5.4%, max = 100.0%

Расходы на образование:
  1990: медиана = 3.6%, n = 52, min = 1.0%, max = 12.5%
  2005: медиана = 4.1%, n = 109, min = 0.7%, max = 12.1%
  2023: медиана = 3.7%, n = 121, min = 0.0%, max = 16.4%

# Выбираем ключевые страны
key_countries = ['United States', 'China', 'India', 'Brazil', 'Nigeria', 'Germany', 'Japan']

# Создаем отдельные графики для каждого индикатора
fig, axes = plt.subplots(3, 1, figsize=(14, 15))
fig.suptitle('Динамика ключевых показателей для выбранных стран', fontsize=16, y=1.02)

# Цвета для стран
colors = plt.cm.tab10(np.linspace(0, 1, len(key_countries)))

# ===== 1. ВВП на душу населения =====
ax1 = axes[0]
indicator_gdp = 'GDP per capita (current US$)'

for country_idx, country in enumerate(key_countries):
    country_data = df_all_country[
        (df_all_country['country'] == country) & 
        (df_all_country['indicator'] == indicator_gdp)
    ].sort_values('year')
    
    if len(country_data) > 0:
        ax1.plot(country_data['year'], country_data['value'], 
                label=country, color=colors[country_idx], 
                linewidth=2, marker='o', markersize=4)

ax1.set_title('ВВП на душу населения', fontsize=14, fontweight='bold', pad=10)
ax1.set_ylabel('Доллары США', fontsize=12)
ax1.grid(True, alpha=0.3, linestyle='--')
ax1.legend(loc='upper left', fontsize=10)

# ===== 2. Доступ к электричеству (доли 0-1) =====
ax2 = axes[1]
indicator_elec = 'Access to electricity (% of population)'

for country_idx, country in enumerate(key_countries):
    country_data = df_all_country[
        (df_all_country['country'] == country) & 
        (df_all_country['indicator'] == indicator_elec)
    ].sort_values('year')
    
    if len(country_data) > 0:
        ax2.plot(country_data['year'], country_data['value'], 
                label=country, color=colors[country_idx], 
                linewidth=2, marker='s', markersize=4)

ax2.set_title('Доступ к электричеству', fontsize=14, fontweight='bold', pad=10)
ax2.set_ylabel('Доля населения', fontsize=12)  # Изменено!
ax2.set_ylim(-0.05, 1.05)  # Теперь от 0 до 1
# ИЛИ преобразовать в проценты для наглядности:
# ax2.set_ylim(-5, 105)
# ax2.set_ylabel('Процент населения', fontsize=12)
ax2.grid(True, alpha=0.3, linestyle='--')
ax2.legend(loc='lower right', fontsize=10)

# ===== 3. Доля городского населения (доли 0-1) =====
ax3 = axes[2]
indicator_urban = 'Urban population (% of total population)'

for country_idx, country in enumerate(key_countries):
    country_data = df_all_country[
        (df_all_country['country'] == country) & 
        (df_all_country['indicator'] == indicator_urban)
    ].sort_values('year')
    
    if len(country_data) > 0:
        ax3.plot(country_data['year'], country_data['value'], 
                label=country, color=colors[country_idx], 
                linewidth=2, marker='^', markersize=4)

ax3.set_title('Доля городского населения', fontsize=14, fontweight='bold', pad=10)
ax3.set_xlabel('Год', fontsize=12)
ax3.set_ylabel('Доля населения', fontsize=12)  # Изменено!
ax3.set_ylim(-0.05, 1.05)  # Теперь от 0 до 1
# ИЛИ преобразовать в проценты для наглядности:
# ax3.set_ylim(-5, 105)
# ax3.set_ylabel('Процент населения', fontsize=12)
ax3.grid(True, alpha=0.3, linestyle='--')
ax3.legend(loc='upper left', fontsize=10)

plt.tight_layout()
plt.show()

# указываю рендер
pio.renderers.default = "notebook"

# проверяю, какие годы есть
years_with_data = df_all_country[
    df_all_country['indicator'] == 'GDP per capita (current US$)'
]['year'].unique()

# беру последний доступный год
selected_year = max(years_with_data)
print(f"Беру данные за {selected_year} год")

# фильтрую
gdp_data = df_all_country[
    (df_all_country['indicator'] == 'GDP per capita (current US$)') & 
    (df_all_country['year'] == selected_year)
]

print(f"Найдено {len(gdp_data)} стран")

# 4. Создаю карту
fig = px.choropleth(
    data_frame=gdp_data,
    locations='country_id',
    locationmode='ISO-3',
    color='value',
    hover_name='country',
    title=f'ВВП на душу населения ({selected_year} год)',
    color_continuous_scale='Viridis'  # более контрастная палитра
)

fig.show()

Беру данные за 2024 год
Найдено 183 стран

# Создаем график
plt.figure(figsize=(12, 7))

# Категории доходов и их цвета
income_groups = ['High income', 'Middle income', 'Low income']
colors = {'High income': 'green', 'Middle income': 'blue', 'Low income': 'red'}

# Для каждой группы рисуем линию
for group in income_groups:
    # Фильтруем данные по группе и показателю
    group_data = df_income_categories[
        (df_income_categories['country'] == group) & 
        (df_income_categories['indicator'] == 'Access to electricity (% of population)')
    ].sort_values('year')
    
    if len(group_data) > 0:
        # Данные в долях, переводим в проценты
        years = group_data['year']
        values = group_data['value'] * 100
        
        # Рисуем линию
        plt.plot(years, values, 
                label=group,
                color=colors[group],
                linewidth=2.5)
        
        # Подписываем последнюю точку
        last_year = years.iloc[-1]
        last_value = values.iloc[-1]
        plt.text(last_year, last_value, f'{last_value:.0f}%', 
                fontsize=9, color=colors[group],
                bbox=dict(facecolor='white', alpha=0.7, edgecolor='none'))

# Настраиваем график
plt.title('Доступ к электричеству по группам доходов (1960-2024)', fontsize=14)
plt.xlabel('Год', fontsize=12)
plt.ylabel('Процент населения с доступом', fontsize=12)

# Ось Y от 0 до 100%
plt.ylim(0, 105)

# Сетка
plt.grid(True, alpha=0.3, linestyle='--')

# Легенда
plt.legend(loc='lower right', fontsize=11)

# Показываем график
plt.tight_layout()
plt.show()

all_indicators = [
    'GDP per capita (current US$)',
    'Access to electricity (% of population)',
    'Urban population (% of total population)',
    'Government expenditure on education, total (% of GDP)',
    'Current health expenditure (% of GDP)',
    'Mortality rate, under-5 (per 1,000 live births)',
    'Individuals using the Internet (% of population)',
    'Energy use (kg of oil equivalent per capita)',
    'Sci. and tech. journal articles per capita'
]
# кол-во индикаторов в каждый год
years_with_all_indicators = (
    df_all_country[df_all_country['indicator'].isin(all_indicators)]
    .groupby('year')['indicator']
    .nunique()
    .reset_index()
)
# Годы, где все индикаторы присутствуют
years_with_all_indicators = years_with_all_indicators[
    years_with_all_indicators['indicator'] == len(all_indicators)
]['year'].tolist()

print("Годы с данными по всем индикаторам:", np.sort(years_with_all_indicators))


# Определяю годы с данными для большинства стран
# Сначала считаю количество уникальных стран по каждому году
country_counts_per_year = df_all_country.groupby('year')['country_id'].nunique()

# Определяю, сколько стран является "большинством"
# Например, возьму 70% от максимального числа стран в данных
max_countries = country_counts_per_year.max()
threshold = max_countries * 0.7

years_with_most_countries = country_counts_per_year[
    country_counts_per_year >= threshold
].index.tolist()

print("Годы с данными для большинства стран:", np.sort(years_with_most_countries))


# нахожу годы, которые содержат все индикаторы и большинство стран:
selected_years = list(set(years_with_all_indicators) & set(years_with_most_countries))
print("Годы с данными по всем индикаторам и для большинства стран:", np.sort(selected_years))

Годы с данными по всем индикаторам: [2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
 2014 2015 2016 2017 2018 2019 2020 2021 2022]
Годы с данными для большинства стран: [1960 1961 1962 1963 1964 1965 1966 1967 1968 1969 1970 1971 1972 1973
 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987
 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001
 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
 2016 2017 2018 2019 2020 2021 2022 2023 2024]
Годы с данными по всем индикаторам и для большинства стран: [2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
 2014 2015 2016 2017 2018 2019 2020 2021 2022]

# Определенные годы
short_names = {
    'GDP per capita (current US$)': 'GDP per capita',
    'Access to electricity (% of population)': 'Electricity access',
    'Urban population (% of total population)': 'Urban population',
    'Government expenditure on education, total (% of GDP)': 'Education spend',
    'Current health expenditure (% of GDP)': 'Health spend',
    'Mortality rate, under-5 (per 1,000 live births)': 'Child mortality',
    'Individuals using the Internet (% of population)': 'Internet users',
    'Energy use (kg of oil equivalent per capita)': 'Energy use',
    'Sci. and tech. journal articles per capita': 'Research articles'
}

interest_pairs = [
    ('Internet users', 'Electricity access'),
    ('Internet users', 'GDP per capita'),
    ('Child mortality', 'Electricity access'),
    ('Research articles', 'GDP per capita'),
    ('Research articles', 'Internet users'),
    ('Urban population', 'Electricity access'),
    ('Urban population', 'Child mortality')
]

# Инициализация словаря для всех корреляций по годам
all_year_corrs = {pair: [] for pair in interest_pairs}

selected_years = [2000, 2010, 2022]

for year in selected_years:
    df_year = df_all_country[
        (df_all_country['year'] == year) &
        (df_all_country['indicator'].isin(all_indicators))
    ]
    pivot_df = df_year.pivot_table(
        values='value',
        index='country',
        columns='indicator',
        aggfunc='mean'
    )
    pivot_df = pivot_df.dropna()

    corr_matrix = pivot_df.corr(method='pearson')

    # Переименование индикаторов в матрице корреляции
    corr_matrix.rename(columns=short_names, index=short_names, inplace=True)

    for pair in interest_pairs:
        corr_value = corr_matrix.loc[pair[0], pair[1]]
        all_year_corrs[pair].append(corr_value)

    plt.figure(figsize=(11, 7))
    mask = np.triu(np.ones_like(corr_matrix, dtype=bool))
    sns.heatmap(
        corr_matrix,
        mask=mask,
        annot=True,
        cmap='coolwarm',
        center=0,
        square=True,
        fmt='.3f',
        cbar_kws={"shrink": 0.8}
    )
    plt.title(f'Матрица корреляции Пирсона индикаторов за {year}\n'
              f'({len(pivot_df)} стран с полными данными)', fontsize=14, pad=20)
    plt.xticks(rotation=45, ha='right')
    plt.yticks(rotation=0)
    plt.tight_layout()
    plt.show()

# Создание DataFrame с динамикой корреляций
corr_dynamics = pd.DataFrame({
    f"{pair[0]}-{pair[1]}": corrs 
    for pair, corrs in all_year_corrs.items()
}, index=selected_years)

# Линейный график динамики
plt.figure(figsize=(12, 4))
for pair_name in corr_dynamics.columns:
    plt.plot(corr_dynamics.index, corr_dynamics[pair_name], 
             marker='o', linewidth=2.5, label=pair_name)

plt.xlabel('Год')
plt.ylabel('Коэффициент корреляции Пирсона')
plt.title('Динамика корреляций индикаторов по годам')
plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left')  # Легенда справа
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

print("Динамика корреляций:\n", corr_dynamics.T.round(3))

Динамика корреляций:
                                       2000   2010   2022
Internet users-Electricity access    0.440  0.679  0.833
Internet users-GDP per capita        0.863  0.833  0.575
Child mortality-Electricity access  -0.911 -0.870 -0.856
Research articles-GDP per capita     0.856  0.856  0.882
Research articles-Internet users     0.898  0.858  0.599
Urban population-Electricity access  0.787  0.712  0.511
Urban population-Child mortality    -0.756 -0.692 -0.576

# Фильтруем нужные показатели и приводим к нужному виду
indicators = ['GDP per capita (current US$)', 'Access to electricity (% of population)', 'Population, total']
df_filtered = df[df['indicator'].isin(indicators)].copy()

# Получаем таблицу в формате pivot (страна, год, ВВП, электричество, население, доход)
df_plot = df_filtered.pivot_table(
    index=['country', 'year', 'country_id', 'income_level_name'], 
    columns='indicator', 
    values='value'
).reset_index().dropna()

# Переименовываем колонки для удобства
df_plot.columns = ['country', 'year', 'country_id', 'income_level_name', 
                   'electricity_access','gdp_per_capita', 'population']
df_plot['electricity_access'] = df_plot['electricity_access'] * 100 # перевожу в %

# Ограничиваем группы дохода
df_plot = df_plot[df_plot['income_level_name'].isin([
    'Low income', 'Upper middle income', 'High income', 'Lower middle income'
])]

print("Данные подготовлены. Строк:", len(df_plot))
df_plot.head()

Данные подготовлены. Строк: 6185

# Выбираем последний доступный год (или конкретный)
latest_year = df_plot['year'].max()
df_latest = df_plot[df_plot['year'] == latest_year]

# Порядок уровней дохода от высокого к низкому
income_order = ['High income', 'Upper middle income', 'Lower middle income', 'Low income']

color_map = {
    'High income': 'green',
    'Upper middle income': 'orange',  
    'Lower middle income': 'blue',
    'Low income': 'purple'  
}

fig = px.scatter(
    df_latest, 
    x='gdp_per_capita', 
    y='electricity_access',
    size='population',
    color='income_level_name',
    color_discrete_map=color_map,
    trendline="ols",
    hover_name='country',
    size_max=60,
    log_x=True,  # Логарифмическая шкала для ВВП
    category_orders={
        'year': sorted(df_plot['year'].unique()),
        'income_level_name': income_order 
    },
    title=f'ВВП на душу населения vs Доступ к электричеству, % ({latest_year})'
)

# Добавляем линию тренда
fig.add_hline(y=100, line_dash="dash", line_color="red", 
              annotation_text="100% электрификация")

fig.show()

# Анимация по всем годам
fig_anim = px.scatter(
    df_plot, 
    x='gdp_per_capita', 
    y='electricity_access',
    size='population',
    color='income_level_name',
    color_discrete_map=color_map,
    trendline="ols",
    hover_name='country',
    size_max=60,
    animation_frame='year',
    animation_group='country',
    log_x=True,
    range_x=[100, 100000],  # Фиксируем шкалу
    range_y=[0, 120],
    category_orders={
        'year': sorted(df_plot['year'].unique()),
        'income_level_name': income_order  # Ключевой параметр!
    },
    title='Динамика ВВП и доступа к электричеству по странам'
)

fig_anim.show()

# задаю индикаторы для кластеризации
indicators_for_kmeans = [
    'GDP per capita (current US$)',
    'Access to electricity (% of population)',
    'Urban population (% of total population)'
]

# --- Функция кластеризации для одного года -----------------------------------

def get_year_clusters(df_all_country: pd.DataFrame, year: int) -> pd.DataFrame:
    """
    Возвращает df с индексом country и колонками:
    [indicators_for_kmeans..., 'cluster', 'year'] для заданного года.
    Если данных нет или после очистки ничего не осталось — возвращает пустой df.
    """
    df_year = df_all_country[df_all_country['year'] == year]
    if df_year.empty:
        return pd.DataFrame()

    # pivot: страны × индикаторы
    df_pivot = df_year.pivot(
        index='country',
        columns='indicator',
        values='value'
    )

    # проверяем, что все индикаторы есть
    if not set(indicators_for_kmeans).issubset(df_pivot.columns):
        return pd.DataFrame()

    # отбор нужных индикаторов, обработка пропусков
    df_clean = df_pivot[indicators_for_kmeans] \
        .dropna(thresh=len(indicators_for_kmeans) - 1)
    df_clean = df_clean.fillna(df_clean.median())

    # удаление выбросов по z-score
    z_scores = np.abs(zscore(df_clean[indicators_for_kmeans]))
    df_no_outliers = df_clean[z_scores.max(axis=1) < 3].copy()
    if df_no_outliers.empty:
        return pd.DataFrame()

    # стандартизация и K-Means
    scaler = StandardScaler()
    X = scaler.fit_transform(df_no_outliers)

    kmeans = KMeans(n_clusters=4, random_state=42, n_init=10)
    df_no_outliers.loc[:, 'cluster'] = kmeans.fit_predict(X)

    df_no_outliers['year'] = year
    return df_no_outliers

# ----- Функция визуализации кластеров ----------

def clusters_visualisation(df_no_outliers):    
    """
    Выводит на экран график scatterplot и медианную статистику по кластерам
    """
    fig = px.scatter(
        df_no_outliers.reset_index(),
        x=indicators_for_kmeans[0],
        y=indicators_for_kmeans[2],
        color='cluster',
        hover_name='country',
        size=indicators_for_kmeans[1],
        title=f'Кластеризация стран {df_no_outliers['year'].max()}',
        )
    fig.show()
    
    # вывожу медианные значения для кластеров
    cluster_profiles = df_no_outliers.groupby('cluster')[indicators_for_kmeans] \
        .median().round(2)
    print('\nМедианы показателей по кластерам:')
    display(cluster_profiles)

# смотрю кластеризацию за 2023 год
df_2023_clusters = get_year_clusters(df_all_country, 2023)
clusters_visualisation(df_2023_clusters)

Медианы показателей по кластерам:

# смотрю кластеризацию за 2000 год
df_2000_clusters = get_year_clusters(df_all_country, 2000)
clusters_visualisation(df_2000_clusters)

Медианы показателей по кластерам:

# смотрю кластеризацию за 2010 год
df_2010_clusters = get_year_clusters(df_all_country, 2010)
clusters_visualisation(df_2010_clusters)

Медианы показателей по кластерам:

gdp_col = 'GDP per capita (current US$)' # по медиане этого показателя буду определять границы сегментов
years = range(2000, 2024)  # можно поменять диапазон при необходимости

# --- Функция: ранжирование кластеров и присвоение сегментов -------------------

def map_clusters_to_labels_by_gdp_min(df_year_clusters: pd.DataFrame) -> pd.DataFrame:
    """
    df_year_clusters: результат get_year_clusters (index='country').
    Возвращает копию df_year_clusters с колонкой 'cluster_label'.
    """
    # медиана GDP по каждому кластеру
    gdp_med = df_year_clusters.groupby('cluster')[gdp_col].median()

    # сортируем кластеры по медиане GDP (бедные → богатые)
    ranked = gdp_med.sort_values()  # index = cluster_id

    # cluster_id -> ранг (0 = беднейший кластер, 3 = богатейший)
    rank_map = {cl_id: rank for rank, cl_id in enumerate(ranked.index)}

    # ранг → человекочитаемый сегмент
    rank_to_label = {
        0: 'Аграрные / наименее развитые',
        1: 'Развивающиеся урбанизирующиеся',
        2: 'Страны среднего / относительно высокого дохода',
        3: 'Высокоразвитые постиндустриальные',
    }

    df = df_year_clusters.copy()
    df['cluster_rank'] = df['cluster'].map(rank_map)
    df['cluster_label'] = df['cluster_rank'].map(rank_to_label)

    return df


# --- Основной цикл по годам: получаем сегменты для country–year --------------

cluster_labels_all_years = [] # собирает список из датафреймов по годам

for year in years:
    df_year_clusters = get_year_clusters(df_all_country, year)

    if df_year_clusters.empty:
        continue  # нет данных / ничего не осталось после очистки

    df_labeled = map_clusters_to_labels_by_gdp_min(df_year_clusters)

    # переносим индекс country в колонку для мерджа
    df_labeled = df_labeled.reset_index()  # теперь есть колонка 'country'

    # оставляем только ключи и сегмент
    cluster_labels_all_years.append(
        df_labeled[['country', 'year', 'cluster_label']]
    )

# объединяем по всем годам
if cluster_labels_all_years:
    df_clusters_all = pd.concat(cluster_labels_all_years, ignore_index=True) # объединет все датафреймы в списке в один датафрейм вертикально
else:
    df_clusters_all = pd.DataFrame(columns=['country', 'year', 'cluster_label']) # если список пустой, создает пустой датафрейм с нужными колонками

# --- Мерджим с исходной длинной таблицей -------------------------------------

df_all_country_with_segmentation = df_all_country.merge(
    df_clusters_all,
    on=['country', 'year'],
    how='left')

df_all_country_with_segmentation.sample(5)

# сохраняю в базу данных
try:
    df_all_country_with_segmentation.to_sql(
        name="all_country_with_segmentation",
        con=engine,
        if_exists='replace',
        index=False,
        method='multi'
    )
except Exception as e:
    print(f"Ошибка при сохранении: {e}")

	country	mean	median	std	min	max
88	Indonesia	1505.541538	748.009	1523.948475	53.2052	4925.43
209	Virgin Islands (U.S.)	37718.290476	38633.500	3910.821987	30062.0000	44320.90
89	Iran, Islamic Rep.	2691.660046	2209.000	1986.113841	195.5780	8114.08
197	Turks and Caicos Islands	26014.504167	25105.850	5285.583838	17803.9000	37506.80
47	Croatia	10902.531429	12285.300	5686.367856	2321.1500	23931.50

	country	mean	median	std	min	max
0	High income	19563.053077	18452.700	15215.531101	1204.070	50443.90
4	Upper middle income	2837.592077	1158.960	3273.252092	142.590	10961.80
3	Middle income	1811.639400	827.024	1958.367262	127.983	6524.26
2	Lower middle income	786.444154	449.551	735.386315	104.412	2517.63
1	Low income	456.445448	387.350	204.033984	126.317	868.53

	country	mean	median	std	min	max
116	Macao SAR, China	0.999877	1.0	0.000361	0.998493	1.0
71	Georgia	0.998833	1.0	0.004270	0.979000	1.0
97	Japan	1.000000	1.0	0.000000	1.000000	1.0
66	Finland	1.000000	1.0	0.000000	1.000000	1.0
27	Brunei Darussalam	1.000000	1.0	0.000000	1.000000	1.0

	country	mean	median	std	min	max
0	High income	0.997802	0.998654	0.001827	0.994413	0.999884
4	Upper middle income	0.977661	0.985332	0.016835	0.943602	0.995089
3	Middle income	0.865850	0.866822	0.059393	0.772242	0.951584
2	Lower middle income	0.697361	0.698332	0.140885	0.471086	0.912681
1	Low income	0.300528	0.288720	0.091399	0.166319	0.452722

indicator	Access to electricity (% of population)	GDP per capita (current US$)
country
Arab World	0.916454	7479.69
East Asia & Pacific	0.984045	13117.90
Europe & Central Asia	1.000000	29835.70
Latin America & Caribbean	0.984226	10838.80
Middle East, North Africa, Afghanistan & Pakistan	0.964226	6063.05
North America	1.000000	79326.90
South Asia	0.994088	2532.38
Sub-Saharan Africa	0.532563	1544.76

Анализ экономического развития и его связи с другими показателями¶

Индикаторы для анализа¶

Этап 1. Загрузка и подготовка данных¶

Этап 2. Сводные таблицы и описательная статистика.¶

2.1 Статистика¶

2.2 Сводная таблица¶

2.3 Анализ распределения¶

Этап 3. Визуализация трендов и паттернов¶

3.1 Динамика ВВП, доступа к элкетричеству и урбанизации¶

3.2 Сравнителный анализ ВВП на карте мира¶

3.3 Динамика доступа к электричеству по группам стран с разным уровнем дохода¶

Этап 4. Углубленный анализ¶

4.1 Корреляция показателей¶

4.2 Анализ взаимосвязей¶

4.3 Кластеризация стран¶

Итоги¶

Корреляции и из зависимости:¶

ОСНОВНЫЕ ТРЕНДЫ ЗА 30 ЛЕТ:¶

4 кластера стран (результат кластеризации):¶

Тревожные тенденции:¶

Эволюция взаимосвязей:¶

ГЛАВНЫЙ ВЫВОД:¶

	country	indicator	year	value
17973	South Asia	Individuals using the Internet (% of population)	2018	0.209000
18448	Europe & Central Asia	Access to electricity (% of population)	2019	0.999535
11367	North America	Urban population (% of total population)	1971	0.738559
9518	East Asia & Pacific	Urban population (% of total population)	2000	0.414610
9295	Arab World	Urban population (% of total population)	1963	0.331943

	country	indicator	year	value
18633	High income	Access to electricity (% of population)	2008	0.996251
12938	Low income	Government expenditure on education, total (% ...	2004	0.028126
11050	Lower middle income	Urban population (% of total population)	1963	0.189664
10173	High income	Urban population (% of total population)	1995	0.747108
19091	Middle income	Access to electricity (% of population)	2003	0.797290

	country	indicator	year	value	country_id	income_level_name
11549	Afghanistan	GDP per capita (current US$)	2023	413.758	AFG	Low income
11550	Afghanistan	GDP per capita (current US$)	2022	357.261	AFG	Low income
11551	Afghanistan	GDP per capita (current US$)	2021	356.496	AFG	Low income
11552	Afghanistan	GDP per capita (current US$)	2020	510.787	AFG	Low income
11553	Afghanistan	GDP per capita (current US$)	2019	496.603	AFG	Low income

indicator	GDP per capita (current US$)	Access to electricity (% of population)	Urban population (% of total population)
cluster
0	1394.18	0.55	0.46
1	11004.75	1.00	0.77
2	4870.04	1.00	0.43
3	57266.30	1.00	0.88

indicator	GDP per capita (current US$)	Access to electricity (% of population)	Urban population (% of total population)
cluster
0	3870.82	0.99	0.74
1	405.79	0.18	0.27
2	24303.45	1.00	0.81
3	1456.04	0.94	0.46

indicator	GDP per capita (current US$)	Access to electricity (% of population)	Urban population (% of total population)
cluster
0	9314.07	0.99	0.74
1	952.28	0.31	0.33
2	44968.20	1.00	0.84
3	4058.54	0.97	0.47

	country	indicator	year	value	country_id	income_level_name	cluster_label
60247	Costa Rica	Energy use (kg of oil equivalent per capita)	2016	1001.150000	CRI	High income	Страны среднего / относительно высокого дохода
26214	British Virgin Islands	Government expenditure on education, total (% ...	2005	0.030463	VGB	High income	Развивающиеся урбанизирующиеся
67966	Panama	Sci. and tech. journal articles per capita	2016	0.000038	PAN	High income	Страны среднего / относительно высокого дохода
19624	Marshall Islands	Urban population (% of total population)	1964	0.412140	MHL	Upper middle income	NaN
38055	Dominican Republic	Mortality rate, under-5 (per 1,000 live births)	1999	41.000000	DOM	Upper middle income	NaN